Neural Network Diffusion

  • 灵感:diffusion架构和SGD的参数优化过程有着相似之处
    • 1.无序到有序
    • 2.多次加噪都可以变成高斯分布
  • 具体流程
    • 要保存参数的层,这必定保存的数量K
      • 保存模型参数,S=[s1,...,sk]
    • 把每一层参数sk展开,变成一维向量,合并成一个矩阵V(kXD)
      • V=[v1,...,vk]
    • 训练AutoEncoder

      • decoder
    • 利用DDPM在latent Z上训练diffusion模型